[セッションレポート] Vertex AI で オープン/3rdパーティモデルを発見しデプロイする AIML230 #GoogleCloudNext

ビジネスニーズに最適な生成AIアプリケーションを開発するには生成AIモデルの選定、モデルのチューニングや評価、仕様に適合するための拡張機能が必要となります。気の遠くなるこれらの作業は Vertex AI で一貫して実現できます。
2024/4/10(水) Google Cloud Next '24 の Discover and deploy open and third party models on Vertex AI (AIML230) というセッションにて、ビジネスニーズに適合する生成AIモデルを発見しデプロイするまでを Vertex AI で実現するメリットについてのセッションに参加してきましたので共有します。

登壇者：Prateek Gera(Senior Product Manager, Google), Wenming Ye (Sr. Product Manager, Google)

モデル選択の重要性

生成AIアプリケーションを構築する際に重要な一歩として、ビジネスニーズや技術要件に基づいた適切なモデル選択が必要です。
Google Cloud の Model Gardenは Vertex AI やその他のソースから、Google Cloud開発基盤、サードパーティ、オープンソースなど130以上の生成AI基盤モデルが利用可能なコレクションです。

オープンソースのAI生成モデルは、数百億パラメータのモデルも台頭しており性能が高い且つカスタマイズも容易で、ファインチューニングが不要の In-context Learning に優れているうえ、大きなコミュニティによる豊富なサポートが得られる点もメリットとなります。
また、テキスト生成のみならず、コード、画像、映像、音声、表形式など生成AIが取り扱うデータ形式による最適な選択をする必要があります。

そのため、Model Garden という一つのプラットフォームからモデル選択し、検証・比較が容易にできる環境は非常に便利なインタフェースであると言えます。

Hugging Face との連携によるデプロイの簡易化

Model Garden にて提供されているモデル以外にも、Hugging Face に公開されているモデルを Model Garden の UI から Vertex AI Endpoint 上に簡単にデプロイすることもできます。この機能により、ユーザーは広範なモデルのライブラリから最適なモデルを選択し、ビジネスニーズに最も合致するモデルをデプロイすることも Model Garden 上で完結します。

Vertex AI での基盤モデルのチューニングと評価、拡張

適切なモデルの選択と合わせて、ビジネスニーズに最適な生成AIアプリケーションの精度向上にはチューニングと評価がかかせません。チューニング方法は目的と技術制約、コストなど加味して検討が必要です。ここではセッションで紹介されスライドをベースに Vertex AI 上のチューニングの特徴を纏めました。

チューニング	説明	入力データ	計算コスト	対応モデル
プロンプト設計	入力プロンプトによってモデルの動作を制御	ラベル付きデータ 1-10 件	低	すべてのモデル
Supervised Fine-Tuning	教師あり学習を用いて性能を向上	ラベル付きデータ数百件	非常に低	Text-bison, chat-bison, code-bison, codechat-bison
RLHF (Reinforcement Learning Human Feedback) (Preview)	強化学習と人間からのフィードバックを組み合わせた手法	ペアワイズ比較データ 5,000-10,000 件 とラベルなしプロンプト 1,000-3,000 件	低	Text-bison, T5-S,L,XL,XXL, Llama2
Distilling(蒸留) (Preview)	より大きな教師モデルから根拠を抽出して小さな生徒モデルに追加の教師情報を提供しモデルサイズを縮小する方法	ラベルなしプロンプト数百-数千件	中	教師モデル: text-unicorn, 生徒モデル: text-bison
フルファインチューニング	モデルの重みを更新して特定用途のトレーニングデータセットに適応	ラベル付きデータ数千件	中++	Gemma を含む Model Garden のオープンモデル

また、Vertex AI 上では様々な評価ツール(Metric-based Evaluation, AutoSxSなど)やビジネスニーズに適合するための拡張機能(Grounding, Function calling, Extensions)を利用できます。そのため、オープンソースや3rdパーティーの生成AIモデルを Vertex AI プラットフォーム上で容易にカスタマイズ・拡張することができます。

まとめ

Vertex AI の Model Garden により、ユーザに有益なオープンソースや3rdパーティーモデルを統一のインタフェースで発見～デプロイすることができ、Vertex AI という一つのプラットフォーム上で生成AIモデルのチューニング、評価、拡張のための多くのツールが提供されることで、ビジネスニーズに適合する生成AIアプリケーションの開発を効率化することができます。

さいごに

本日より開催される Google Cloud Next '24 には弊社から6人が現地参加しております。
引き続き、アップデートやセッションレポートなどは随時共有してきたいと思います。

また、Next '24 の翌週に帰国したばかりの現地参加メンバーが振り返り勉強会を行いますので是非とも現地でご参加ください！